Kilpin sinh ngày 24 tháng 1 năm 1870, trong một gia đình làm nghề giết mổ, và lớn lên cùng 9 người anh chị em tại 129 đường Mansfield, Nottingham. Sau khi học xong, ông làm việc như một trợ lý kho bãi trong thành phố.[1] Là một người quan tâm và yêu thích bóng đá, khi mới 13 tuổi, ông đã tham gia trong vai trò sáng lập ra câu lạc bộ bóng đá nghiệp dư nhỏ được đặt theo tên của người anh hùng dân tộc Ý Giuseppe Garibaldi.[2]